Sau các hiệp ước bất bình đẳng, thực dân Pháp nắm được toàn quyền cai trị thực tế với lãnh thổ Đại Nam. Ở mỗi Kỳ, thực dân Pháp tổ chức các chính quyền cai trị khác nhau. Đối với Bắc Kỳ, thực dân Pháp thực hiện chế độ bảo hộ trên danh nghĩa, trực trị trên thực tế. Tuy nhiên, đối với các vùng biên giới, nơi mà quyền lực tự trị của các thổ ty vẫn ưu thế và quyền lực của triều đình Đại Nam vẫn còn lỏng lẻo, thực dân Pháp xây dựng chế độ cai trị quân sự bổ sung cho dân sự, nhằm để đối phó với các cuộc nổi dậy của nghĩa quân địa phương và ra oai với các thế lực bên kia biên giới. Từ 1886-1888, bên cạnh việc thành lập các chính quyền dân sự cấp tỉnh, để các hoạt động quân sự được độc lập hơn nữa và không bị lệ thuộc vào viên Công sứ dân sự, thực dân Pháp còn tổ chức các đạo binh tại địa phương, thực hiện chế độ tài phán quân sự (Soumis à la Juridiection Militaire), thành lập 14 quân khu (région militaire) từ Thanh Hóa trở ra. Mỗi quân khu do một sĩ quan cấp trung tá hoặc đại tá trực tiếp chỉ huy. Dưới cấp quân khu là các Tiểu quân khu (cercle militaire) và các đồn binh đồn binh độc lập tại các điểm trọng yếu. Thông thường ở các tỉnh tương ứng, viên sĩ quan chỉ huy đạo quân ở đó cũng kiêm nhiệm chức vụ Phó Công sứ quân sự (Vice résident militaire).